华为邓泰华:让每一位开发者的智慧汇聚成全生态创新,共同点亮多样性计算新时代
万物互联的智能时代,算力需求的爆炸式增速已远超摩尔定律,单纯依靠芯片工艺进步带来的算力提升,已不能满足算力增长需求,须进行计算体系的架构创新,包括从通用计算走向通用计算加异构计算的多样性算力创新,和从硬件到基础软件、到应用使能的全栈协同创新。
在HUAWEI CONNECT 2020上,华为计算产品线总裁邓泰华向业界宣布全面开放鲲鹏全栈、昇腾全栈、发布分布式多样性计算软件套件,加速产业创新,使能极简开发,与业界伙伴携手,共赢计算新时代。
华为计算产品线总裁邓泰华发表主题演讲
以下为邓泰华演讲全文
各位嘉宾、各位朋友、各位线上的同学们,大家上午好!
很高兴第一次与大家相聚在华为全联接2020,分享鲲鹏、昇腾计算产业进展,以及对未来的思考。去年HC大会,我们发布了鲲鹏、昇腾计算产业战略,硬件开放、软件开源、使能合作伙伴,得到大家的积极响应和支持。
我们兑现承诺,整机合作有序推进,现在已经有12家整机伙伴,伙伴们进展很快;我们宣布的开源计划,全部如期达成,同时开源社区进展超出预期。借这个机会,感谢合作伙伴、开发者朋友们的大力支持,谢谢大家!
过去一年,我们和伙伴一起,取得了系列进展。
首先,华为开放主板和部件,使能合作伙伴打造自有品牌的整机产品,同时从全方面对伙伴进行能力共享。在市场上,我们坚持伙伴优先。从6月份开始,伙伴们的出货量已经超过华为自有品牌服务器出货,未来伙伴的销售占比会进一步提升。
在基础软件领域,我们如期开源操作系统openEuler、企业级数据库openGauss、数据虚拟化引擎openLooKeng,合作伙伴们已经基于开源社区陆续推出商用发行版。同时,我们如期开源AI框架MindSpore,半年时间已经成为国内第一热度的AI开源社区。我们希望更多的开发者参与进来, “共建、共享、共治”,共同打造基础软件生态。
在主动开源的同时,我们也积极贡献上游开源社区,使能全球开源体系更好的支持多样性计算。华为持续贡献Linux社区,在Linux Kernel最新发布的5.8版本,华为贡献排名上升至全球第二。我们积极参与各个开源项目,共建ARM CI环境,目前已经实现主流场景80%开源项目原生支持鲲鹏,这非常重要。这样就不需要代码的二次迁移,而是代码合入开源社区时就已经原生支持鲲鹏,让鲲鹏开发者可以开箱即用直接调用这些开源组件。
在AI领域,我们也开放支持Tensorflow、PyTorch、Caffe等主流AI框架,累计已经支持110多种主流AI模型。当前鲲鹏、昇腾开发者已经超过30万,合作伙伴超过1000家,完成认证的解决方案超过3000个。
这些数字在加速增长中,每一周、每一天都在增加,一年时间我们共同见证鲲鹏、昇腾计算产业从起步、发展到加速增长。感谢大家的热情参与,我们欢迎更多合作伙伴、开发者的加入,共同繁荣计算产业生态,拥抱数字世界的到来。
多样性算力时代,鲲鹏、昇腾拥抱全栈创新
如同物理世界,电力是生产力。数字世界,算力是生产力。
从过去的PC互联网、到移动互联网,到万物互联的智能世界,算力需求爆发式增长,速度已经远远超过摩尔定律,单纯依靠芯片工艺进步带来的算力提升,已经远远不能满足需求。
未来十年是计算体系架构创新的黄金十年,包括从通用计算走向通用计算加异构计算的多样性算力创新,以及从硬件到基础软件,到应用使能的软硬件全栈协同创新。鲲鹏、昇腾正是在多样性算力时代,拥抱全栈创新,应运而生的。
我分别和大家分享鲲鹏、昇腾产业后续的规划和思考。
鲲鹏计算全栈能力开放,加速产业创新
去年HC大会,我们开放鲲鹏主板、宣布了openEuler、openGauss开源计划。
今天,我们向产业界,全面开放鲲鹏全栈,包括开放鲲鹏主板2.0,持续投入开源基础软件openEuler、openGauss,开放鲲鹏应用使能套件Kunpeng BoostKit、开放鲲鹏开发套件Kunpeng DevKit。通过全栈能力开放,加速产业创新。
去年我们开放通用主板和标准部件,使能伙伴快速推出整机产品,进入市场,我们欣喜的看到伙伴在政府、金融、运营商等行业开始规模商用。但我们也深知这是不够的,随着应用场景的普及,为了让伙伴面向不同行业能够提供场景适配性更好、竞争力更强的产品。
今天,我们开放鲲鹏主板2.0。从通用主板开放,到基础板+扩展板的开放模式。基础板沉淀共性,减少伙伴重复开发;扩展板实现创新,使能伙伴差异化竞争力;同时结合BIOS/BMC软件开放,支持伙伴自定义产品。这样从1.0使能伙伴快速推出产品,到2.0使能伙伴差异化创新,鲲鹏循序渐进,助力整机伙伴商业成功。
多样性计算时代,操作系统创新空间巨大,openEuler推出恰逢其时。openEuler的策略就是使能多样性算力,释放极致性能,确保安全可信,实现全场景协同。在3月份LTS版本基础上,国内主流操作系统厂家都陆续基于openEuler推出商用版本,其中麒麟软件已经成为社区第二大贡献者,融合欧拉技术的麒麟V10版本已经全面商用,进展很快。社区会在本月发布新版本,在极致性能、安全可信、开放生态等方面进一步增强,包括创新的轻量级虚拟机技术,大幅度的降低虚拟化开销,首次发布机密计算框架SecGear,向上游社区开放自动化测试平台Compass-CI等关键特性。在明年3月份版本,将在云、边、端全场景协同上进一步增强能力。
我们计划全面升级社区理事会、技术委员会、用户委员会、营销委员会、秘书处等社区治理组织,预计SIG组会从现在的70个扩展到明年的100到150个,未来发展到300到400个。欢迎产业伙伴和开发者积极参与进来,承担角色,做出贡献,操作系统是根,根深才能叶茂,我们发展基础软件需要有根,希望大家一起努力,在未来三年共同发展南北向千家企业、万级开源开发者、百万级商用用户。让openEuler成为开发者喜爱的、优选的操作系统社区,我们一起打造全球主流的操作系统生态。
数据库是基础软件皇冠上的明珠,也是国内基础软件发展的最大挑战。做数据库都知道,如果独立研发内核,开发周期长、人力投入大、需要长期坚持投入。而如果采用常见的开源数据库,在性能、可靠性、安全性等方面,又离企业级要求有较大差距。所以我们认为,直接基于企业级能力的开源协作,将华为在数据库领域多年来已经构筑的企业级能力积累,通过开源的方式向产业界开放,以此来构建生态,是国内数据库产业能够高效、稳健发展的有效模式。
openGauss的策略是聚焦打造“高性能、高可靠、高安全”的数据库内核,并支持合作伙伴完善企业级特性,来实现稳步的商用。6月30日我们如期开源1.0版本,目前已经有6家合作伙伴完成商用版本发布,海量数据、云和恩墨、神州通用等伙伴已经试商用。海量的Vast Base上周在工信部测试结果也非常棒。今年年底,计划发布1.1版本,持续完善企业级特性;明年3月,计划发布2.0版本,持续增强企业级安全。
大家知道,数据库的产品与生态打造,是一个长期而又艰辛的过程,需要持续的投入与战略耐心。但我们也坚信,积跬步以至千里,心中有梦想,再大的困难也要坚持走下去,华为将持续加大开源投入,也希望全球开发者、数据库合作伙伴们加入,共同打造具有全球影响力的企业级开源数据库生态。
硬件提供算力,基础软件释放算力,最终还要通过应用软件来创造业务价值。应用软件的迁移与适配,一直是打造鲲鹏软件生态的难点和关键。
今天我们面向软件伙伴和开发者,发布两类套件:
▶ 鲲鹏应用使能套件Kunpeng BoostKit。围绕主流应用场景,开放高性能开源组件、加速软件包、工具和最佳参考实现,把各个场景沉淀下来的最佳能力向合作伙伴开放,让应用与鲲鹏发生最强化学反应。合作伙伴和开发者可以进入鲲鹏社区,开放获取鲲鹏应用使能套件。未来我们会持续优化和丰富Kunpeng BoostKit能力。
▶ 面向全研发作业流程的鲲鹏开发套件Kunpeng DevKit是和开发者最紧密相关的开发套件。代码扫描、迁移和调优工具大家比较熟悉了,今天新发布三个新工具:
◇ 首先毕昇编译器,大家知道编译器是软件的核心根技术。鸿蒙有方舟,鲲鹏有毕昇,一千年以前,毕昇发明了活字印刷,今天,我们隆重发布:鲲鹏原生的毕昇编译器,通过多核并行化、自动矢量化、指令加速等等优化技术,编译性能大幅提升。
◇ 同时,针对少数无源代码迁移场景,作为快速迁移的一种过渡方案,我们创新的推出二进制指令动态翻译软件,这个是黑科技,不需要源代码,只要有二进制可执行文件,就可以直接迁移到鲲鹏,软件免修改免编译,性能达到原生应用性能的80%以上,给客户和伙伴提供另一种高效迁移模式。
上述全流程工具,到今年年底都支持以插件的方式,开放集成到各种主流IDE,这样延续开发者现有的开发习惯。
鲲鹏全栈都是开放的,鲲鹏不属于哪一家企业,鲲鹏不是华为的鲲鹏,是产业的鲲鹏。希望在大家的鼎力支持下,鲲鹏能展翅翱翔。
昇腾AI全栈极简开发 极致性能 激发创新
接下来和大家分享昇腾AI计算产业。
大家知道,人工智能作为GPT通用目的技术,在未来几十年将深刻改变我们生活和社会的方方面面,我们正处在AI爆炸式增长的前夜。随着AI技术的发展,我们可以看到AI在某些特定领域特定场景下,准确率已经超过人类。这意味着从AI技术本身,已经具备场景化规模应用的条件。
但现在AI在行业应用渗透率又非常低,只有4%,那制约发展的瓶颈在哪里?我们可以看到,每一个AI应用,需要经历从模型获取到规模部署八个步骤,每一步都如同跨越一个鸿沟。总结起来有三方面挑战:
1、AI的算法开发难、技术门槛高,比如模型的获取,每个场景可使用的模型非常多,但哪一个模型最合适呢,模型又调用不同的算子,而模型和算子都在快速迭代,这就是一大挑战;
2、应用开发难,需要AI体系结合行业知识,而往往懂AI的不懂行业、懂行业的不懂AI,难以有效结合;
3、最后,大规模部署又面临各种场景适配的问题。
面临这八大鸿沟三大挑战,如果要一个企业或者开发者从头到尾掌握全部能力,走完全部过程,那更是难上加难。如何跨越八大鸿沟三大挑战,核心是为开发者打造一个“极简高效,极致性能”的全栈AI解决方案,来分层提供相适配的能力,满足每一类开发者的不同需求,这也是昇腾做全栈全场景的初衷。
我们对所有的开发者做了画像,包括AI算子开发者、AI模型开发者、AI应用开发者,我们都有对应的产品支持,提供相适配的能力,避免了每个开发者都从底层来开发,实现极简高效,同时因为是全栈平台,再通过全栈垂直协同,来获取极致性能。
☞ 首先为大家介绍昇腾全系列硬件产品Atlas,覆盖了端、边、云全场景,包括模组、板卡、服务器以及集群等各种形态,今天新发布的300I推理卡,单卡支持80路全高清视频实时分析,300T训练卡,单卡最大算力320 TFLOPS,规格领先。
昇腾也践行硬件开放、使能伙伴的策略,我们从八月份开始发展认证解决方案合作伙伴,把昇腾模组、板卡以及服务器集成到伙伴自有品牌的整机和解决方案。我们欢迎有实力、有意愿的合作伙伴和我们联系,共同打造有竞争力的AI解决方案。
☞ CANN是发挥硬件算力的核心,CANN 3.0同时支持推理+训练的端边云全场景,实现三大使能:
首先,使能全场景,支持一次开发,全场景各种硬件形态灵活部署,同时支持14种主流操作系统,主流AI框架。
同时,使能极简开发,通过统一编程接口ACL Ascend CL,开发者只需要掌握一套API,就可以全面使用推理、训练全系列硬件。
最后,使能极致性能,通过软硬协同优化,通过亲和昇腾的图编译技术,以及超过1000个高性能算子,来释放昇腾硬件的强大性能。
这里给大家报告一下,去年HC大会上我们发布了Atlas 900,ResNet-50模型训练最快速度59.8s,全球领先;今年,基于去年同样的硬件,通过CANN 3.0和ModelArts的联合调优,训练时间再减少了一半以上,到28s,持续引领全球!这也是昇腾的性能软升级模式,买了Atlas硬件,通过升级新的软件版本,可以持续提升性能。
☞ MindSpore是面向端边云全场景的AI框架,在三月份开源基础上,今天,我们隆重推出MindSpore 1.0版本,实现三大特性:
首先,全自动并行。现在的AI模型越来越大,参数越来越多,GPT-3参数已经超过1750亿,未来框架的并行能力越来越关键。MindSpore是业界首个全自动并行的框架,不仅自动将大图切分成小图,还可以将小图中的算子自动切分,分配到不同的计算单元,不需要开发者手动干预。
同时,全场景协同。模型训练好之后,可以根据不同硬件形态自适应生成相应大小的模型。更为重要的是,MindSpore支持对本地增量数据进行训练,提供更精准的AI模型,这是什么意思呢,举个简单的例子,大家在手机上经常使用手机语音助手,模型是在中心统一训练,在端侧推理应用,但因为个人的口音,语言习惯的差异,有时候识别就不是很好,现在就有办法,MindSpore能够支持在端侧结合个人数据,直接对模型进行轻量级训练,基于训练结果来修正本地的推理参数,这样数据还在本地,既保护了个人隐私,又提升了模型精度。
最后,全流程极简。开发者可以实现模型快速导入、灵活调试,同时对第三方框架已经训练好的模型,也可以通过工具实现自动转换。
MindSpore开源后获得了国内外开发者积极响应,开源贡献者超过1500,下载量也快速提升,九月份当月日均下载量已经超过600,成为国内第一热度的AI开源社区,海外下载量也在快速提升。我们希望与AI开发者一起,共同打造全球主流的、最佳适应全场景的AI框架。
☞ 本次我们推出全流程开发工具链MindStudio,支撑从算子开发到应用部署的全流程活动,具有插件化设计、便捷安装、沉浸体验和精准分析几大特点。
☞ 最后我重点分享一下MindX。AI算子开发者有CANN,AI模型开发者有MindSpore,那最广泛的AI应用开发者,我们提供什么呢?就是MindX,让应用开发者只需极少量代码甚至不直接写代码就可以实现AI的功能。
MindX包括2个组件,1个优选模型库,以及面向各个行业的SDK,2+1+X。
两个组件是深度学习组件和智能边缘组件,核心是完成设备资源和算力资源的统一抽象和管理,被上层平台所调用,这样上层程序只需关注功能而不需要关注底层资源配置细节,直接调用组件就可以。
优选模型库ModelZoo,提供了基于场景的模型获取,来解决前面提到的模型选择难的问题。当前已有超过60个优选模型在社区上线。我们也面向广大开发者发起模型众筹,有偿众筹,欢迎开发者朋友们进入昇腾社区,加入我们的模型众筹和算子众筹计划。
最后这个非常非常关键,就是面向不同行业的SDK。SDK是面向同一类行业场景的开发工具包和行业知识库,把一类场景的开发经验和行业知识积淀下来,水平复制,共享能力,来大幅度降低开发门槛,提升开发效率。未来随着行业SDK不断完善,整个行业应用的基础能力就不断提升,水位不断提高就水涨船高,大家在此基础上开发就更为高效。
不需要一行代码编程,通过我们的SDK,仅仅简单的“拖拉拽”和复制粘贴,就可以快速生成行业应用。我们首批推出视频分析SDK以及智能制造SDK,下个月发布,后续会和合作伙伴一起推出更多行业SDK。大家可以在昇腾社区上开放获取MindX系列工具。
多样性算力开放创新
前面分别给大家交流了通用计算鲲鹏全栈,以及AI计算昇腾全栈。但我们说,未来是通用计算加上异构计算的多样性算力融合创新,鲲鹏+昇腾,基于多样性算力融合创新,能给计算产业发展创造更大价值。面向未来,多样性计算和分布式应用是两大趋势:
一方面数据中心的算力供给越来越多样化,x86,GPU,鲲鹏 + 昇腾。
另一方面,分布式应用的加速,也需要融合使用多种算力来实现。
这两大趋势,共同推动计算产业,进入分布式多样性计算时代。在分布式多样性计算时代,开发者面临更多挑战,比如:
▶ 高密算力应用如何发挥众核算力优势?
▶ 多样性算力如何和应用最佳匹配?
▶ 分布式应用的并行化性能如何提升?
▶ 应用性能如何能随着系统规模增长而能够逼近线性增长?
▶ 融合开发带来的高学习成本、跨系统协同的问题。
针对这些挑战,我们首次隆重发布,分布式多样性计算软件套件!
分布式多样性计算软件套件,对南向屏蔽多样性算力开发复杂性,对北向使能分布式并行应用的高效开发。鲲鹏+昇腾,多样性算力融合,全栈开放创新,使能端边云全场景,使能分布式应用。我们将和合作伙伴、开发者朋友们一起,坚持开放创新,持续繁荣计算产业生态,让每一位开发者的智慧汇聚成全生态创新,共同点亮多样性计算新时代。
以产业集聚人才,以人才引领产业
创新驱动产业发展,产业发展聚集人才,而人才又激发创新,引领产业持续发展。
人才发展是产业发展的基础,我们发展计算产业,一直把人才发展作为重中之重的工作。高校是人才培养的根据地,是人才发展的未来,我们和高校合作,通过产学研用打通的人才体系建设,通过基础理论对接产业和市场需求的知识体系建设,从理论到实践到应用相结合,来构建良性人才生态,激发产业持续活力。
去年HC大会,我们发布了《昇腾AI处理器架构与编程》。今天,我很荣幸的宣布,我们联合各领域专家、学者,和清华大学出版社联合出版,正式发布五本鲲鹏、昇腾学习教材,包括MindSpore、ModelArts、鲲鹏处理器架构与编程、openEuler、openGauss五本教材和系列教辅资料,同学们和开发者朋友们可以根据需要选用。今年底到明年,我们计划发布超过二十门系列化的鲲鹏、昇腾高校专业教材,欢迎各领域专家、学者共同参与编写。
我们联合教育部、教指委、教学合作伙伴,已经全面展开面向鲲鹏、昇腾的教学师资培训。计划今年选择国内20余所高校,把鲲鹏、昇腾融入计算机专业、人工智能专业,进行首批试点。明年,通过教育部-华为联合组织的“智能基座” 产教融合协同育人基地,全面推广覆盖超过70所高校。
在未来几年,逐步实现对超过2600所高校、高职、高专院校的全面覆盖。海外我们也会选择一些重点学校进行推广,为全球人才发展做出贡献。让“鲲鹏”、“昇腾”成为高校计算机与信息化专业、人工智能专业的必备技能。
END
左右滑动查看更多☟